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[ ] The invention relates to a method for compressing and decompressing video data consisting 
of an array of individual image points (pixels). Each pixel has a pixel value that changes with 
time and that describes the colour or luminosity information of the pixel.. According to the 
method, a priority is allocated to each pixel and the pixels are then stored in a priority array 
according to this priority allocation. Said array contains at each moment in time the pixel values 
that have been classified according to the priority allocation. The pixels and the pixel values that 
have been used to calculate the priority allocation are transmitted or saved according to said 
priority allocation. A pixel receives a high priority, if the differences in relation to its neighbouring 
pixel are great. For the reconstruction process, the current pixel values in each case are 
reproduced on the display. The pixels that have not yet been transmitted are calculated from the 
pixels that have already been transmitted. 
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@ Verfahren zur Komprimierung und Dekomprimierung von Videodaten 

@ Die Erfindung betrifft ein Verfahren zur Komprimierung 

und Dekomprimierung von Videodaten, die aus einem Ar- 
ray einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pi- 
xel einen sich zeitlich verandernden Pixelwert aufweist, 

der Farb- oder Helligkeitsinformation des Pixels be- 

schreibt. ErfindungsgemaS wird jedem Pixel eine Priori- 

tat zugeordnet und die Pixel entsprechend ihrer Priorisie- 

rung in einem Prioritatenarray abgelegt. Dieses Array ent- 

halt zu jedem Zeitpunkt die nach der Priorisierung sortier- 

ten Pixelwerte. Entsprechend der Priorisierung werden 

diese Pixel und die fur die Berechnung der Priorisierung 

benutzten Pixelwerte ubertragen bzw. abgespeichert. Ein 

Pixel bekommt eine hohe Prioritat, wenn die Unterschie- 

de zu seinem benachbarten Pixel sehr grofc sind. Zur Re- 

konstruktion werden die jeweils aktuellen Pixelwerte auf 
. dem Display dargestellt. Die noch nicht ubertragenden Pi- 
r xel werden aus den schon ubertragenden Pixeln berech- 
C net. 
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Beschreibung 

[0001] Die Erfindung beschreibt ein Verfahren zur Komprimierung und Dekomprimierung von Videodaten 
[0002] "Videos erzeugen groBe Datenmengen. Um diese Datenmengen effektiv zu ubertragen und abzuspeichern, ist es 
5 sinnvoll diese zu komprimieren. 

[0003] Nach der heutigen Stand der Technik werden Videosignale in einer schnellen Abfolge von Einzelbildern aufge- 
nommen urid wiedergegeben. Beim Femsehen (PAL-Norm) sind dies 25 Bilder pro Sekunde, bzw. 50 Halbbilder. Bei di- 
gitalen Aufnahmen sind das bis ca. 30 Bilder pro Sekunden. Jedes Bild wird in Zeilen zerlegt, und zunachst sequentiell 
ubertragen. 

10 [0004] Bisherige Komprimierung srnethoden basieren im wesentlichen auf der Reduzierung der Auflosung, der Farb- 
tiefe und der Verringerung der Anzahl der Bilder pro Sekunde. Bei der digitalen Kompression, z. B. den MPEG- Verfah- 
ren, werden anstelie von kompletten Bildem im wesentlichen die Differenzbilder, d. h. die Unterschiede der einzelnen 
Bildpunkte (Pixel) im Vergleich zum vorherigen Bild, anstelie der Komplettbilder ubertragen. Der neueste Standart fur 
Videokodierung ist MPEG4. 

15 [0005] MPEG ist die Abkurzung fur "Motion Pictures Expert Group". Von dieser Gruppe wurden bzw. werden Datei- 
formate und Verfahren zum platzsparenden Komprimieren und Speichern von Video- bzw. Multimediadaten (Video, 
Bild- und Tondaten) in hoher Qualitat festiegt. Der MPEG-Standard unterteilt sich inzwischen in MPEG-1, MPEG-2, 
MPEG-3 und MPEG-4, wobei der MPEG-3-Standard mittlerweile in MPEG-2 integriert wurde. 

[0006] Um die riesige Datenmenge von Filmen mit "normalen" Computem verarbeiten und transportieren zu konnen, 

20 werden nur die Veranderungen zum Vorgangerbild abgespeichert. Das MPEG-Format speichert in regelmafiigen Abstan- 
den von typischerweise zwolf Bildern sogenannte Intra-Frames ab; das sind JPEG-komprimierte Einzelbilder. Die Bilder 
zwischen diesen I- Frames werden nach Moglichkeit nicht komplett abgelegt. Vielmehr speichert MPEG, wie man sie 
durch Verschieben von Teilen aus vorangehenden oder nachfolgenden Bildern zuriickgewinnen kann. Dazu werden auch 
vorausschauende "Predicted Frames" und "B-Frames" (Bi-directionale Frames) verwendet. Da das aber nie perfekt 

25 klappt, werden zusatzlich pro Bild die verbleibende Abweichung noch JPEG-kodiert abgespeichert. Mit dieser Methode 
lassL sich der Datenaufwand fur einen Video-Film um eLwa 99% verringem. Die.mogliche Kompression gehl bis 200 : 1 . 
[0007] MPEG- 1 wurdc fur fliissigc Video- Wicdcrgabcn entworfen. Die MPEG-1 -Komprimierung bzw. Dekomprimie- 
rung war urspriinglich ein hard wareabhangiges Verfahren. Es ist allerdings mittlerweile, dank der schnellen Prozessoren, 
auch ein Softwaredekomprimieren moglich. 

30 [0008] Der wesentliche Unterschied zwischen MPEG- 1 und MPEG-2 besteht darin, daB MPEG-2 besser mit dem beim 
Fernsehen eingesetzten Zeilensprung verfahren (Interlace) umgehen kann. Das Geheimnis von MPEG-2 liegt in der 
Kompression auf hochster Qualitatsstufe, so daB Filmmaterial nahezu 1 zu 1 in Studioqualitat bearbeitet und editiert wer- 
den kann. Konsequenterweise etablierte sich MPEG-2 zu einem Standard. Bei einer reinen I-Framecodierung lasst sich 
MPEG-2 sogar im Schnittbetrieb einsetzen. 

35 [0009] Der Teil des MPEG-3 -Standard, der fur High Definition TV-Qualitat (HDTV) vorgesehen war/wurde mittler- 
weile in den MPEG- 2- Standard implementiert. 

[0010] MPEG-4 ist eine Weiterentwicklung des MPEG-2-Formats und befmdet sich seit 1996 in der Entwicklung. Ob- 
wohl MPEG-4 urspriinglich als ein Codierungsstandard fur audiovisuelle Daten mit sehr niedriger Bitrate gedacht war, 
diente die Entwicklung weit mehr Zwecken als lediglich dem Streaming von linearen Mediendaten bei Internet- und 
40 drahtlosen Anwendungen. MPEG-4 stellt z. B. effiziente Mechanismen zur Komprimierung und Distribution interaktiver 
Medieninhalte bereit. AuBerdem verfugt MPEG-4 uber 3D-Potentiale, um kunstliche Intelligenzen zu visualisieren oder 
Avantare darzustellen, z. B . im Rahmen von Videokonferenzen. 

[0011] Die Kompressionsrate ist bei MPEG-4 hoher als bei MPEG-2, wobei "Sprites" besser komprimiert werden kon- 
nen, weil dem Codier-Mechanismus dafur wesentlich mehr Zeit zur Verfugung steht. Eventuell kann dabei sogar auf Wa- 

45 velets umgeschaltet werden. Die Skriptsprache ermoglicht es, in wenigen Bytes Operationen wie "verschieben" wesent- 
lich schneller durchzufuhren, als es die digitalisierte komprimierte Form der gleichen Operation ermoglichen wurde. Mit 
Hilfe dieser "Sprites" konnen beliebig konturierte Standbilder iiber sich bewegende Bilder geschoben werden. 
[0012] Die Aufgabe der Erfindung liegt in der Schaffung eines Verfahrens zur Komprimierung von Videodaten, wel- 
ches eine einfache und flexible Anpassung an unterschiedliche Ubertragungsraten bzw. -bandbreite, Bildauflosungen und 

50 Di splay groBen erlaubt. 

[0013] Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelost. 

[0014] VorteiLhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteranspruchen angegeben. 
[0015] Vorzugs weise erfolgt eine parallele Verarbeitung der Videoinformationen im Videoaufnahmechip. Die parallele 
Verarbeitung dient dem Zweck, zunachst die wichtigsten Pixel zu ermitteln und diese entsprechend einer Priorisierung in 
55 ein Prioritatenarray abzulegen. Dieses Array enthalt zu jedem Zeitpunkt, die nach der Priorisierung sortierten Pixelwerte. 
Entsprechend der Priorisierung werden diese Pixel, und die fur die Berechnung der Priorisierung benutzten Pixelwerte, 
ubertragen bzw. abgespeichert. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu seinen benachbarten 
Pixel sehr groB sind. 

[0016] "Zur Rekonstruktion werden die jeweils aktuellen Pixelwerte auf dem Display dargestellt Die noch nicht uber- 

60 tragenden Pixel werden aus den schon ubertragenden Pixel herechnet. 

f00l7] Entsprechend der Rechenleistung, der Ubertragungsbandbreite und der GroBe des Displays konnen unter- 
schiedliche Verfahren zur Berechnung der noch nicht ubertragenen Pixel eingesetzt werden. Steht eine sehr groBe Band- 
breite zur Verfugung kann eine einfache lineare Interpolation durchgefuhrt werden. Steht nur eine sehr kleineBandbreite 
zur Verfugung, kann dies bei der Ubertragung der priorisierten Pixel berucksichtigt werden. 

65 [0018] Durch den Historienverlauf der ubertragenden Pixel konnen Objekte identifiziert, und damit eine Bewegungs- 
abschatzung dieser Objekte durchgefuhrt werden. 

[0019] Der Grundgedanke des Verfahrens basiert auf der priorisierten Pixelspeicherung bzw. Ubertragung. Bei der Ab- 
speicherung bzw. der Videoubertragung mussen femer die zeitlichen und positionellen (innerhalb des Bildarrays) Ab- 
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hangigkeiten der einzelnen Pixel oder in Pixelgruppen zusammengefassten Pixel berucksichtigt werden. 
[0020] Urn eine extreme hohe Datenkbmpression zu erzielen werden jeweils die Pixelgruppen ubertragen, die die 
hochsic Priori l at haben, und bisher noch nicht ubertragen worden sind. Die Flachen, d. h. die Pixel werte zwischen den 
schon uberiragendcn Pixelgruppen werden aus den schon iibertragenden Pixelgruppen berechnet, z. B. durch Interpola- 
tion. Rei hohcrer Auflosung (groBeres Bildarray) steigt der erreichbare Kornpressionsfaktor, da bei naturlichen Aufhah- 5 
men groBere Flachen ineist einen gut vorhersagbaren (gleichmaBigen) Farbverlauf haben, z. B. blauer Himmel. 
[0021 ) Zu heachten ist auch, dass jeweils die exakten Pixelwerte ubertragen werden. Falls erforderlich erlaubt dies Ver- 
fahren cine verluslt reic Ubertragung der Videoinformationen. 

[0022 J Die. Widcrhcrsicllung bzw. Rekonstruktion der Videodaten beruht auf Abschatzungen ahnlich des menschlichen 
Sehvcrhaliens. Der Mensch nirnmt Reize war, aber die Interpretation was er auf diesem Bild erkennt, findet erst in sei- 10 
nem Gchirn stall. Die Reize entsprechen den iibertragenen Pixelgruppen, die Interpretation entspricht dem Ausfullen der 
Flachen /.wise hen den noch nicht ubertragenen Pixelgruppen. 

[0023] I Jni dieses zu realisieren, konnen zusatzliche Arrays angelegt. werden. Dies sind unter anderem ein Array in 
welcheni die Information vorhanden ist, aus welchen Pixelgruppen der Pixel wert an der aktuellen Position ermittelt 
wurde. Weil ere Tnlbnnationen konnen sein, wann diese Werte berechnet worden sind, aus welchen Pixelgruppen diese 15 
berechnct b/.w. ubertragen worden sind. Auch eine Einschatzung uber die Genauigkeit der Werte (z. B. Berechnung aus 
direkt bcnachbartcn tfxcL geringe Varianz der zur Berechnung zugrunde liegenden Pixel) kann als zusatzliche Informa- 
tion ausgewe net werden. 

[0024] Das ncschricbcnc Vcrfahren erlaubt eine wesentlich einfachere Anpassung des Videodatenstroms an unter- 
schiedlichc DisplaygroBcn und Bildauflosungen. 20 
[0025] Ein wcitcrc Vortcil ist. dass durch die beschriebene Art der Kodierung des Videos nicht automadsch festgelegt 
wird, mit welchen Algorithmcn das Video dekodiert werden muss. Dies wird durch Ubertragung der priorisierten Pixel- 
werte erreicht. die enigegen bei anderen Verfahren keine Mittelwertbildung erfahren. Hersteller haben damit die Mog- 
lichkeit Low bis High Cost Endgerate zu entwickeln und sich durch unterschiedliche Algorithmen vom Mitkonkurrenten 
hervorzuheben. 25 
[0026] Die angestreble in as si v-parallele Verarbeitung der Videodaten in eineni speziell dafur entwickelten Chip erlaubt 
cs, cxtrcm nicdrigen Taktratcn zu verwenden, was sich giinstig auf den Stromvcrbrauch auswirkt. 

[0027] Durch Priorisierung konnen bestimmte Bereiche des Videos (z. B. Lippen bei Nachrichtensprechem) mit einer 
hoheren Prioritat und foiglich einer besseren Auflosung ubertragen werden. 

[0028] Das Verfahren erlaubt es, aus dem Datenstrom des Videos f iir unterschiedliche Endgerate die optimalen Teilda- 30 
tenstrome herauszufiltem, ohne das dies bei der Videoaufhahme beriicksichtigt werden muss. 

[0029] Ein Ausfuhrungsbeispiel der Erfindung wird anhand der Zeichnungsfiguren naher erlautert. Aus den Zeichnun- 
gen und deren Beschreibung ergeben sich weitere Merkmale, Vorteile und Anwendungsmoglichkeiten der Erfindung. Es 
zeigt: 

[0030] Fig. 1 Darstellung eines Bildarrays aus 20 x 21 Pixeln; 35 
[0031] Fig. 2 Darstellung verschiedener Formen von Pixelgruppen; 
[0032] Fig. 3 Bildarray mit bewegtem Objekt zu einem Zeitpunkt tl; 
[0033] Fig. 4 Bildarray mit bewegtem Objekt zu einem Zeitpunkt t2; 
[0034] Fig. 5 Bildarray mit bewegtem Objekt zu einem Zeitpunkt t3; 

[0035] Fig. 6 Neu generiertes Bildarray mit eingefugten Pixelgruppen in der Bildecke; 40 

[0036] Fig. 7 Ausfullen der Flachen zwischen den bereits eingefugten Pixelgruppen; 

[0037] Fig. 8 Einfiigen weitere Pixelgruppen und Ausfullen der dazwischenliegenden Flachen. 

[0038] Nachfolgend wird anhand eines exemplarischen Bei spiels eine Komprimierung ■ und Dekomprimierung eines 
Videosignals beschrieben. 

[0039] Folgende Annahmen werden getroffen: 45 
Als Videoquelle steht ein derzeit ubliches Videosignal zur Verfugung (z. B. PAL oder NTSC). Die Videoinformation 
kann mit einer handelsublichen elektronischen Einrichtung (z. B. Framegrabber-Karte) ausgelesen werden. Zur Veran- 
schaulichung des Verfahrens wird im folgenden ein minimiertes Bildarray mit einer Breite von 20 Pixel und einer Hohe 
von 21 Pixel verwendet (Fig. 1). Jedes Pixel des Arrays wird durch einen 32 Bit Wert (Pixelwert) reprasentiert. Die 32 
Bit sind z. B. in 4 Werte (Transparent, Rot, Griin, Blau) mit jeweils 8 Bit aufgeteilt. Die Position der Pixel ist durch eine 50 
Integer Zahl festgelegt. Das Bildarray wird in der in Fig. 1 gezeigten Weise von 0 bis 419 durchgezahlt. Die Zahl inner- 
halb jedes Kastens entspricht der Position des zugehorigen Pixels. Zwischen der Quelle und Senke besteht eine UDP 
(User Datagramm Protocol) Verbindung. Uber diese werden dann die komprimierten Videodaten geschickt. 
[0040] . Die Komprimierung des Videosignals erfolgt folgendermaBen: 

Das Verfahren beruht darauf, dass standig eine Priorisierung der einzelnen Pixel des Videosignals erfolgt, wobei die Pi- 55 
xel entsprechend ihrer Priorisierung in ein Array abgelegt werden. Dieses Array enthalt zu jedem Zeitpunkt, die aktuel- 
len, nach Prioritat sortierten Pixelwerte. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu seinen benach- 
barten Pixel sehr groB sind. Das Pixel wird zusammen mit seinen fur die Berechnung verwendeten Nachbarpixeln zu ei- 
ner Pixelgruppe zusammengefasst. Entsprechend der Priorisierung werden diese Pixelgruppen ubertragen bzw. abge- 
spei chert 60 

Bildarray einlesen 

[0041] Der Framegrabber hat zu jedem Zeitpunkt das jeweils aktueile Bild in seinem Bildarray das wie in Fig. 1 ge- 
zeigt beispi els weise ein 20 x 21 Pixel groBes Bildarray sein kann. Jedes Pixel ist durch seine Position (0 bis 41 9) und sei- 65 
nen Pixelwert (Farb- bzw. Helligkeitswert) definiert. 
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Pixelgruppen festlegen 

[0042] Zuvor wurde festgelegt, welche benachbarten Pixel eine Pixelgruppe bilden. Mit pO ist dabei dasjenige Pixel 
bezeichnet, das die Position der Pixelgruppe angibt und fur das die Prioritat berechnet wird. Die relative Position der ub- 

5 rigen Pixel, z. B. pl-p4, einer Pixelgruppe zum Bezugspixel pO ergibt sich aus der verwendeten Art (Form) der Pixel- 
gruppe. In Fig. 2 sind exemplarisch einige mogliche Formen von Pixelgruppen dargestellt. Es konnen sowohl zum Be- 
. zugspixel pO symmetrische als auch unsymmetrische Pixelgruppen gebildet werden. Welche Art von Pixelgruppe ver- 
wendet wird, ist u. a. von der Art des Bildmaterials und der angestrebten Kompressionsrate abhangig. In der Regel ist der 
zu erreichende Kompressionsfaktor umso groBer, je mehr Pixel eine Pixelgruppe umfasst. Zum kodieren und dekodieren, 

ll) d. h. komprimieren und dekomprimieren des Videobildes muss die gleiche Form von Pixelgruppen verwendet werden. 

Prioritatswerte ermitteln 

[0043] Fur jedes Pixel pO einer Pixelgruppe wird nun die Prioritat in Bezug auf dessen Pixelgruppe berechnet. Dabei 
15 wird jedes Pixel 0-419 des Bildes einmal zum Bezugspixel pO. Dabei ist erfindungsgemaB vorgesehen, dass die Berech- 
nung der Prioritatswerte der Pixel soweit wie moglich im Rahmen einer parallelen Datenverarbeitung durchgefuhrt wird. 
Optimal ist, wenn die Berechnung der Prioritaten aller Pixel des Bildes gleichzeitig erfolgt. Das es sich urn ein Videosi- 
gnal handelt, werden die Prioritatswerte aller Pixel standig neu berechnet, da sich der Bildinhaltlaufend andert. Die Viel- 
zahl der Pixelgruppen, insbesondere die mit niedrigerer Priorisierung, werden sich aber mit einer hohen Wahrscheinlich- 
20 keit nicht andern. 

[0044] Zur Berechnung der Prioritat kann es verschiedene Rechenmethoden geben. Exemplarisch wird hier eine li- 
neare Methode verwendet. 

[0045] Dazu werden die einzelnen Pixelwerte P0, PI, P2, P3 und P4 einer Pixelgruppe in ihre Farbanteile Rot, Griin 
und Blau zerlegt. Jeder dieser Farbwerte wird durch 8 Bit reprasentiert. Fur jede Farbe eines jeden Pixels P1-P4 wird nun 
25 ein Farbdifferenzwert in Bezug auf P0 ermittelt, z. B. P0_rot-Pl_rot, P0_rot-P2_rot, -. . ., P0_blau-P4_blau. Die absolu- 
ten FarbdiiTerenzwerte werden addierL und durch die Anzahl der Farben und Anzahl der betrachteten Pixel geteilt. Das 
Ergcbnis ist cin Prioritatswert fur die bctrachtctc Pixelgruppe. Dicscr Prioritatswert ist umso hohcr, jc untcrschicdlichcr 
die Farbwerte der einzelnen Pixel der Pixelgruppe sind. 

[0046] Weitere Methoden zur Ermittlung des Prioritatswert sind dieBenutzung von Grauwerten oder derMaximalwert 
30 einer Farbdifferenz einer Farbe. Da der Prioritatswert spater selbst nicht ubertragen, bzw. abgespeichert wird, hat das 
Verfahren zur Ermittlung des Prioritatswert keinen direkten Einfluss auf die Dekodierung. 

[0047] Durch diese Priorisierung wird erreicht, dass Bildbereiche, die einen grofien Farb- oder Kontrastwechsel auf- 
weisen, wie z. B. Kanten, eine hohe Prioritat erhalten, und relativ gleichbleibende Bildinhalte, wie z. B. blauer Himmel, 
eine Niedrige. 

35 

Prioritatswerte sortieren 

[0048] In diesem Schritt werden die Prioritatswerte der GroBe nach absteigend sortiert. Die Sortierung erfolgt nach Er- 
mittlung jedes neuen Priori tatswertes Fur jeden Zeitpunkt besitzt man somit eine nach Prioritaten geordnete liste von Pi- 
40 xelgruppen die absteigend sortiert ist. Es ist anzustreben, dass entsprechende Bildaufnehmer (CCD-Chips) entwickelt 
werden, welche unmittelbar eine solche nach Prioritaten geordnete Liste bereitstellen. Wird das zu komprimierende Bild 
direkt mit einer CCD Kamera oder einem Scanner aufgenommen, besteht prinzipiell die Moglichkeit, aus dem in der Ka- 
mera/dem Scanner vorhandenen, bildbearbeitenden Mikrochip direkt ein nach Prioritaten sortiertes Array zu erhalten. 
Somit wird beim komprimieren ein wesentlicher Teil des Rechenaufwandes eingespart. 

45 

Aktualisieren der Prioritatswerte 

[0049] Im Gegensatz zu Standbildern (z. B. Fotografien) ergibt sich bei Videoinformationen eine standig wechselnde 
Prioritatsanderung der Pixelgruppen, z. B. bei Kameraschwenk oder bewegten Objekten. Um dies zu verdeutlichen ist in 
50 den Fig. 3 bis 5 ein Videobildarray zu verschiedenen Zeitpunkten tl bis t3 dargestellt, wobei sich ein Objekt von rechts 
nach links verschiebt. 

[0050] GemaB Fig. 2 enthalt das Bild zum Zeitpunkt tl ein Objekt, das die Pixel 156, 157, 176, 177, 191-197, 
211-217,231-237, 256, 257, 276,277 ausfullt. Fur die Berechnung der Prioritaten der Pixel (0-419) des Bildes wird die 
in Fig. 2 dick umrandeten Form der Pixelgruppe (links unten) verwendet. Es ergibt sich eine Prioritatsverteilung der Pi- 

55 xel, wie sie in der weiteren Beschreibung des Verfahrens beispielhaft in Tabelle 1 zum Zeitpunkt tl dargestellt ist. Die 
Tabelle enthalt jeweils nur die Nurnrner des Bezugspixels (pO) einer Pixelgruppe. Diejenigen Pixelgruppen, die sich im 
Randbereich des Objektes befinden und bei denen das jeweilige Bezugspixel (pO) den groBten Unterschied zu den tibri- 
gen Pixeln der Pixelgruppe aufweist, bekommen die hochste Prioritat A. Die Pixelgruppen, deren Bezugspixel einen ge- 
ringeren Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweisen bekommen eine mittlere Prioritat B und diejeni- 

60 gen Pixelgruppen, deren Bezugspixel gar keinen Unterschied zu den ubrigen Pixeln der Pixelgruppe aufweisen die nied- 
rigste Prioritat C. 



65 
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Prioritat A 


Prioritat B 


Prioritat C 




Zeitpunkt t1 


175,255,231,191, 


177,197,217,237,257, 


0,1,2.3,4.5.6.7,8.9.10, 






156,157,277,276 


176,256,211,192, ... 


11, 12.13.14,15, ... 


5 


Zeitpunkt t2 


189,173,154,155, 


175.195,215,235,255, 


0,1,2.3.4.5.6,7.8.9.10. 






274,275,253,229 


190,191,192,193, ... 


11, 12,13,14,15, ... 


10 


Zeitpunkt t3 


187,171,227,251, 


173,193.213,233,253, 


0,1,2.3,4,5.6,7,8.9,10. 






152,153,272,273 


188,189.190,191, ... 


11, 12,13,14,15, ... 


15 
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[0051] Im Rahmen der Komprimierung werden nun zunachst die mit Prioritat A versehenden Pixelgruppen Ubertragen 
bzw. abgespeichert, dann die Pixelgruppen mit Prioritat B und schlieBlich die Pixelgruppen mit der Prioritat C. Da sich 
das Objekt zwischenzeitlich bewegt und in Bezug zu Fig. 3 in den Fig. 4 und 5 eine andere Position einnimmt, andern 
sich die Prioritaten der einzelnen Pixelgruppen. Die Priori tatenliste wird aktualisiert und es wird sofort mit der t Jbertra- 
gung der aktuellen Pixelgruppen mit der hochsten Prioritat fortgefahren. 

[0052] Die neu berechneten Prioritaten der Pixelgruppen fiir die Zeitpunkte t2 (Fig. 4) und t3 (Fig. 5) sind in Tabelle 1 
dargestellt. 

[0053] Somit konnte eine mogiiche komprimierte Ubertragung eines Videosignals gemaB Tabelle 1 folgendermaBen 25 
aussehen: 

Zeitpunkt tl: Pixelgruppen mit der hochsten Prioritat A werden ubertragen: 
175, 255, 231, 191, 156, 157, 277, 276, 177, 197, 217 

Zum Zeitpunkt t2 werden neue Prioritaten erkannt. Andere Pixelgruppen erhalten hochste Prioritat A. Es wird mit der 
Ubertragung der neuen Prioritat A fortgefahren: 
189, 173, 154, 155, 274, 275, 253, 229 

Danach folgt die Ubertragung der Pixelgruppen mit Prioritat B: 
175, 195, 215, 235, 255, 190, 191, 192, 193, ... 

Zum Zeitpunkt t3 werden wieder neue Prioritaten erkannt. Andere Pixelgruppen erhalten hochste Prioritat A, Es wird mit 
der Ubertragung der neuen Prioritat A fortgefahren: 
187, 171, 227, 251, 152, 153, 272, 273 

[0054] In einem zusatzlichen Array wird uberpruft, welche Pixelgruppen bereits ubertragen worden sind. Wurde eine 
Pixelgruppe schon ubertragen, braucht Sie nicht ein 2tes rnal ubertragen werden, sofem sich ihre Prioritat nicht zwi- 
schenzeitlich geandert hat. Bestimmte Bildregionen, z. B. Gesichter, konnen erkannt und bevorzugt ubertragen werden: 
Zusatzlich konnen von dem Empfanger auch bestimmte Pixelgruppen angefordert werden (z. B. bei Erkennung von 
Ubertragungsfehleren durch fehlerhaften CRC Check). Derart angeforderte Pixelgruppen konnen dann eine hone Priori- 
tat erhalten, so dass Sie sofort Ubertragen wird. 
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Pixelgruppen abspeichern/ubertragen 

[0055] Die Begriffe "abspeichern" und "ubertragen" werden nachfolgend synonym verwendet. Zunachst werden einige 
KenngroBen des Videobildes abgespeichert bzw. ubertragen. Exernplarisch aufgefuhrt sind das z. B.: 



45 



Bildbreite (in Pixel) 
Bildhohe (in Pixel) 

Verwendete Form der Pixelgruppe (nicht notwendig wenn nur eine Form standardisiert ist) 
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[0056] AnschlieBend werden die einzelnen Pixelgruppen entsprechend ihrer Prioritat abgespeichert bzw. ubertragen, 
d. h. Pixelgruppen mit hoher Prioritat werden zuerst gespeichert (und spater auch zuerst ausgelesen). 

[0057] Dazu wird zunachst der Positionswert des Bezugspixels pO der Pixelgruppe abgespeichert. AnschlieBend wer- 55 
den die Pixelwerte P0, PI, P2, P3, P4 abgespeichert. . 

Beispiel 



[0058] Positionswert. P0, Pixel werte P0, PI , P2, P3, P4; nachster Positionswert P0 (mit gleicher oder niedrigerer Prio- 
ritat), Pixelwerte P0, PI, P2, P3, P4, . . nachster Positionswert P0 (mit geringster Prioritat), Pixelwerte P0, PI, P2, P3, 
P4. 

[0059] Das Abspeichern kann durch verschiedene Methoden, die hier nur exernplarisch angesprochen werden, optU 
miert werden. 

[0060] Es kann eine Lauflangencodierung der Pixelgruppen vorgenommen werden. Z. B. wenn in einem Bildbereich 
keine Rotanteile vorkommen, kann dies anstelle von 8 Bit (rot) nur mit z. B. 2 Bit. ubertragen werden, oder es kann die 
Anzahl der fiihrenden Nullen ausgenutzt werden. 

[0061] Femer konnen allgemein ubliche Komprimierung smethoden, z. B. Zip-Format, verwendet werden. 
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[0062] Durch Festlegung eines Grenzwertes fur die Priorisierung kann eine bestimmte Qualitat gewahrleistet werden. 
Z. B. kann cin Grenzwert fur die Pixeldifferenzwerte festgelegt werden unterhalb dessen die zugeordnete Pixelgruppe 
immcr dcri nicdrigsten Priori tats wert bekommt. 

[0063| Werden zunachst die 4 Pixelgruppen der Eckpunkte ubertragen, bekommt man mit wenigen Pixelgruppen eine 
5 groBtmogliche Iliichc berechnet. 

Rekonstruktion (Dekomprimierung) der Videodaten 
Neues Bildarray generieren 

li) 

[0064] Bci der Rekonstruktion der komprimierten Videodaten wird zunachst ein Bildarray vergleichbar mit der Dar- 
stellung in Fig. 1 erzeugt. Dazu werden die Kenndaten des Bildes eingelesen und ausgewertet. Exemplarisch sind dies 
Bildbreiie, Bildhohe und Form der zur Komprimierung verwendeten Pixelgruppe. Stimmen dieBildhohe und Bildbreite 
zwischen deni Ursprungsbild und der nun gewiinschten Darstellung (z. B. begrenztes PDA Display oder hochauflosender 
15 Bildschimi) nichi u herein, muss entsprechend skaliert werden. Dazu werden zunachst Umrechnungsfaktoren ermittelt 
(Bildbreiic C)r^inul/I3ildbreite_Display und Bildh6he_Orginal/Bildh6he_Display). Diese Faktoren konnen benutzt wer- 
den um den Posiiionswert von dem Originalbiid in den Positionswert des neuen Displays umzurechnen. 

Pixelgruppen einfugen 

20 

[0065] Wie in Fig. 6 dargcstcllt ist, werden entsprechend der Reihenfolge der priorisierten Pixelgruppen diese nun ein- 
gelesen. Beispielsweisc werden die ersten vier Pixelgruppen mit der hochsten Prioritat in das Bildarray eingetragen. In 
Fig, 6 sind dies die Pixelgruppen an den Ecken des Bildes. Die Position des Bezugspixels pO der jeweiligen Pixelgruppe 
ist durch die schwar/. unlerlegten Felder 21, 38, 381 bzw. 398 bestirnmt. Dieser Positionswert (pO) liegt als Integerwert in 
25 der abgespeichcricn Dalei vor. AnschlieBend konnen die zur jeweiligen Pixelgruppe gehbrenden, dunkelgrau grau unter- 
leglen Pixelwerie (pl-p4) in das neue Bildarray eingetragen werden. Die dazwischen liegenden, hellgrau iiiarkierten Pi- 
xclwcrtc lasscn sich dann aus den dunkelgrau und schwarz markicrtcn Fcldcrn bcrcchncn. Zur Bcrcchnung werden zu- 
nachst die bekannten Pixelwerte in ihre Bestandteile Rot, Griin und Blau zerlegt. 

[0066] AnschlieBend wird der Mittelwert jeder Farbe berechnet, z. B. Pixel(22) = (Pixel(2) + Pixel(21) + Pixel(42))/3). 

30 

Flachen ausfullen 

[0067] Nun werden die bereits vorhandenen Pixelgruppen durch Linien miteinander verbunden. Dies ist in Fig. 7 dar- 
gestellt. Es ergeben sich Dreiecke, dessen Ecken durch die entsprechenden Pixelgruppen definiert sind. Exemplarisch 

35 soli dies an der Linie zwischen Pixelposition 2 und Pixelposition 17 verdeutlicht werden. Der Farbverlauf der Linie wird 
anhand der Farbwerte der Pixel 2 und 17 berechnet. Zunachst wird die Anzahl der Pixel zwischen diesen beiden Positio- 
nen ermittelt, im Beispiel 14. AnschlieBend wird fur jede Farbe (Rot, Griin, Blau) die FarbdifFerenz ermittelt, z. B. Farb- 
wert an Position 2 = 2; Farbwert an Position 17 = 30 ergibt Farbdifferenz von 28). Eine Farbwertsteigerung pro Pixel - 
vom Pixel 2 zum Pixel 17 - errechnet sich dann aus Farbdifferenz/Anzahl (Im Beispiel 28/14 = 2). 

40 [0068] Die noch iibrigen Flachen werden durch Zeichnen von horizontalen Linien ausgefiillt, z. B. von Position 63 
nach Position 74, von Position 82 nach Position 93, usw. Auch hier wird ein vorlaufiger Farbverlauf zwischen den Punk- 
ten wie oben angegeben berechnet, 

[0069] Wie Fig, 8 zeigt, ergibt jede weitere hinzufugte Pixelgruppe weitere Dreiecke die entsprechend ausgefiillt wer- 
den konnen. Nachdem zunachst die gesamte Flache durch Nutzung der 4 Eckpunkte (21, 38, 398, 381) ausgefiillt wurde, 

45 kann nun mit jeder weiteren Pixelgruppe die Aufldsung verfeinert werden. Das Hinzufugen der Pixelgruppe 87 fuhrt zu 4 
Dreiecken mit den Bezugspunkten (21, 38, 87), (21, 87, 381), (381, 87, 398), (398, 78, 38). Wird nun innerhalb eines sol- 
chen Dreieckes, z. B. 87, 381, 398, eine weitere Pixelgruppe (247) eingefugt entstehen 3 neue Dreiecke (247, 381, 398), 
(247, 87, 381) und (247, 87, 398). Jede neue Pixelgruppe erzeugt somit 3 neue Dreiecke, die ausgefiillt werden konnen. 
Je mehr Pixelgruppen eingefugt sind, d. h. je rnehr Dreiecke gebildet werden, desto naher kommt der berechnete Farb- 

50 verlauf dem tatsachlichen Farbverlauf des Bildes. Da ab nun immer nur neue Dreiecke entstehen, konnen fur die Berech- 
nungen optimierte Verfahren verwendet werden. Ferner konnen die jeweils 3 neu entstehenden Dreiecke parallel berech- 
net werden, um die Bearbeitungsgeschwindigkeit zu steigern. 

[0070] Zusatzliche Moglichkeit der Parallelisierung entsteht dadurch, wenn neue Pixelgruppen in unterschiedlichen 
Regionen des Bildes hinzugefugt werden. 
55 [0071] Bei den oben beschriebenen Verfahrenschritten wurde vorausgesetzt, dass sich der Bildinhalt zwischenzeitlich 
nicht geandert hat. Andert sich der Bildinhalt, dann werden die Prioritaten der einzelnen Pixelgruppen neu verteilt und 
die aktuellen Pixelgruppen mit der hochsten Prioritat ubertragen. Es andert sich nur die Reihenfolge der gerade iibertra- 
genen und in das Bild eingefugten Pixelgruppen. Am oben beschriebenen Prinzip der Rekonstruktion des Bildes andert 
sich jedoch nichts. 

60 [0072] Um den zeitlichen Anderungen des Bildinhalts Rechnung zu tragen, konnen jedoch noch zusatzliche Arrays 
(mit der GroBe des Bildarray s) erzeugt werden. Diese konnen Angaben enthalten iiber die 

- Zeit, d. h. wann wurde ein Pixelwert zuletzt berechnet bzw. ubertragen 

- Berechnungsgrundiage. Weiche ubertragenen Pixel wurden zur Berechnung des Pixelwertes benutzt 

65 - Wahrscheinlichkeit/Genauigkeit. Wurde ein Pixelwert Ubertragen oder berechnet; falls er berechnet wurde wie 

grpB ist die Varianz der Pixelgruppen aus denen der neue Wert berechnet wurde? 

- Abweichung von schon kalkulierten Pixelwerten mit dann ubertragenden Pixelwerten 
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[0073] Aus diesen GroBen lassen sich dann Bildregionen bestimnien in denen haufig Pixelgruppenanderungen vor- 
kornmen. Benachbarte Pixeigruppen, oder auch komplette Bereiche werden in aller RegeL ahnlichen Veranderungen, 
z. B. Helligkeitsanderungen, Farbanderungen unterliegen. Durch Auswertung dieser Anderungen lassen sich in aller Re- 
gel Objekte und ihr dynamisches Verhalten bestimmen, z. B. Gegenstand der sich im Video bewegt. GleichmaBige An- 
derungen bezogen auf das gesarnte Bildarray konnen zum Beispiel auf einen Kameraschwenk hinweisen. Werden. diese 
Informationen z. B. mit Hilfe von lernfahigen neuronalen Netzen ausgewertet, lassen sich sehr leicht Abschatzungen 
uber die Pixelwerte von noch nicht ubertragenden Pixeigruppen machen. Treffen diese Abschatzungen zu, konnen Pixel- 
gruppen identifiziert werden, die besonderen Einfluss auf Veranderungen auf Objekte besitzen. Werden diese Pixeigrup- 
pen von der Quelle erneut angefragt, ist es rnoglich Objektbewegungen mit nur wenig Pixeigruppen genau zu bestimrnen 
und vorherzusagen. In der Praxis bedeutet es, dass obwohl nur eine niedrige Bandbreite zur Verfiigung steht, niedrige 
Verzogerungszeiten auftreten, die wesentlich geringer sind als bei Frame-basierten Verfahren. Die Auswertung der zu- 
satzlich im Empfanger generierten Arrays erlaubt auch eine gute Objekterkennung. 

[0074] Tn Abhangigkeit. der verfugbaren Ressourcen konnen nehen der reinen Priorisierung durch die Farbwerte he- 
nachbarter Pixel auch Abhangigkeiten der Lage der priorisierten Pixeigruppen herangezogen werden. 
[0075] Ein Anwendungsfall soli dies verdeutlichen. Betrachtet man auf See einen Horizont, erscheint dieser wie eine 
waagerechte Linie. Es ist zu erwarten, dass die Prioritatswerte jeder Pixelgruppe entlang diesem Horizont in etwa gleich 
sind. In diesem Fail besitzen die am weitesten auseinander liegenden Punkte der Horizontlinie die groBte.Aussagekraft. 
Durch Ubertragung der auBersten linken und auBersten rechten Pixeigruppen des Horizonts ist es schon moglich, diesen 
wieder zu rekonstruieren. 

[0076] Eine weitere Moglichkeit der Priorisierung liegt in der Hoherbewertung bestimmter Bildbereiche. Ein solcher 
Bildbereich konnen zum Beispiel Gesichter sein. Obwohl Gesichter auf Urlaubsvideos manchmal nur einen prozentual 
kleinen Bereich des gesamten Bildes ausmachen, stehen sie beim Betrachten meist im Mittelpunkt. Ein seiches mensch- 
liches Seh verhalten kann durch entsprechende Priorisierung der Pixeigruppen dieser Bildbereiche (Gesichtsbereiche) be- 
rucksichtigt werden. Ebenso konnen die Pixeigruppen im Zentrum des Videos eine entsprechend htihere Priorisierung er- 
fahren. 

[0077] Eine weilere Moglichkeit der Oplimierung besteht in der Tdtsache, dass sich benachbarte Pixeigruppen gegen- 
scitig iibcrlagcrn. Durch gcschicktc Auswahl der Pixeigruppen kann vermicden werden, dass sich ubcrlagcrndc Pixel- 
werte benachbarten Pixeigruppen wiederholt ubertragen werden. 

[0078] Der Aufwand der zum Dekodieren verwendet wird, ist frei skalierbar. Bei kleineren Displays (z. B. Handys) ist 
sicherlich weniger Rechenaufwand notwendig als die Wiedergabe auf einem hochauflosendem GroBbildschirm, obwohl 
beide den gleichen Quelldatenstrom, bestehend aus den priorisierten Pixeigruppen, verwenden. Diese flexible Skalierung 
erlaubt es Herstellem von Endgeraten, spezielle Optimierungen, z. B. Anzahl der Objekte, Historie der Bildanderungen, 
in ihre Gerate einzubauen. Fur die Hersteller ergibt sich eine Moglichkeit, sich von ihren Mitbewerbern abzuheben, ohne 
die Kompatibilitat der Videoubertragung zu gefahrden. 

Patentanspruche 

1. Verfahren zur Komprimierung von Videodaten, die aus einem Array einzelner Bildpunkte (Pixel) bestehen, wo- 
bei jedes Pixel (0-419) einen sich zeitlich verandernden Rxelwert aufweist, der Farb- oder Helligkeitsinformadon 
des Pixels beschreibt, gekennzeichnet durch die Schritte: 

a) Ermitteln eines Prioritatswertes fiir jedes Pixel des Arrays durch Berechnen eines Pixeldifferenzwertes an- 
hand des jeweils momentanen Pixelwerts des Pixels in Bezug auf die momentanen Pixelwerte einer zuvor fest- 
gelegten Gruppe von benachbarten Pixeln; 

b) Zusammenfassen der fur die Berechnung des Prioritatswertes hinzugezogenen Pixel zu einer Pixelgruppe 
(P0-P4), 

c) Sortieren der Pixeigruppen anhand ihres Prioritatswertes und Ablegen in einem Prioritatenarray; und 

d) Abspeichern und/oder Ubertragen der Pixeigruppen entsprechend ihrer Prioritat im Prioritatenarray, 
wobei die Schritte a) bis d) standig wiederholt werden, wobei die Prioritatswerte der Pixeigruppen stets neu ermit- 
telt werden und das Prioritatenarray zu jedern Zeitpunkt die nach aktuellen Prioritaten sorderten Pixeigruppen ent- 
halt. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Pixeldifferenzwert sich aus der DifTerenz des Pi- 
xelwerts eines betrachteten Pixels zum Pixelwert jedes seiner betrachteten Nachbarpixel der Pixelgruppe ergibt. 

3. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass zu Beginn die KenngroBen 
des Videobildes, wie Bildbreite in Pixel, Bildhohe in Pixel und Form der verwendeten Pixelgruppe abgespeichert 
und/oder ubertragen werden. 

4. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass fiir jede Pixelgruppe die 
Position eines Bezugspixels (P0), dessen Pixelwert, sowie der Pixelwert der Ubrigen Pixel (P1-P4) der Pixelgruppe 
abgespeichert oder ubertragen wird. 

5. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass Pixeigruppen besdmmter 
Bildbereiche eine erhohte Prioritat zugeordnet. wird. 

6. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass die Pixelwerte der Pixei- 
gruppen durch Lauflangencodierung oder andere Kompressionsverfahren weiter komprimiert werden. 

7. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass die laufende Ermittlung 
und Ausgabeder nach Prioritaten sorderten Pixeigruppen bereits durch ein verwendetes biidaufnehmendes System, 
wie z. B. Scanner, CCD-Kamera, erfolgt. 

8. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass Framegrabber Karten 
(bzw. Softwareiosungen) eingesetzt werden konnen, urn auch vorliegendes VideomateriaL verschiedenster Formate 
(z. B. AVI, MPEG- 1, MPEG-2, MPEG-4, . . .) zu konvertieren. 
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9. Verfahren zur Rekonstruktion von Videodaten, die mit dem Verfahren gemafi den Anspriichen 1 bis 8 kornpri- 
miert wurden, dadurch gekennzeichnet, dass die jeweils eingelesenen Pixelwerte in Form eines Bildarrays darge- 
stellt werden, wobei die noch nicht ubertragenden Pixel aus den schon ubertragenden Pixeln berechnet werden. 

10. Verfahren nach Anspruch 9, gekennzeichnet durch die Schritte: 

a) Generieren eines leeren Bildarrays aus den eingelesenen KenngroBen des komprimierten Videobildes, 

b) Kontinuierliches Einlesen der abgespeicherten bzw. ubertragenen Pixelgruppen und Einfugen in das Bild- 
array, 

c) Bilden von Dreiecken durch Verbinden von jeweils drei unmittelbar benachbarter Pixelgruppen durch min- 
destens eine Linie, 

d) Ausfullen der die Flache der Dreiecke bildenden Pixel durch einen aus den das Dreieck bildenden Pixel- 
gruppen berechneten Farb- und/oder Ilelligkeitsverlauf, und 

e) Wiederholen der Schritte b) bis e) 

1 1 . Verfahren nach einem der Anspruche 9 oder 1 0, dadurch gekennzeichnet, dass die Dreiecke in ihrer GroRe ska- 
lierbar und an unterschiedliche Bildauflosungen anpassbar sind. 

12. Verfahren nach einem der Anspruche 9 bis 11, dadurch gekennzeichnet, dass zusatzliche Arrays erzeugt werden 
konnen, die Angaben enthalten uber die: 

- Zeit, d. h. wann wurde ein Pixelwert zuletzt berechnet bzw. ubertragen, 

- Berechnungsgrundlage, d. h. welche Ubertragenen Pixel wurden zur Berechnung des Pixel wertes benutzt, . 

- Wahrscheinlichkeit/Genauigkeit, d. h. wurde ein Pixelwert ubertragen oder berechnet; falls er berechnet 
wurde, wie groB ist die Varianz der Pixelgruppen aus denen der neue Wert berechnet wurde, 

- Abweichung von schon kalkulierten Pixelwerten mit dann ubertragenden Pixelwerten. 

13. Verfahren nach einem der Anspruche 9 bis 12, dadurch gekennzeichnet, dass anhand der gemaB Anspruch 12 
erzeugten Arrays, auf einfache Art Bewegungsprofiie und Objekte erkannt werden konnen. 

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass durch Auswertung der Bewegungsprofiie und Ob- 
jekte fliissige Bewegungen mit extrem niedrigen Latenzzeiten, trotz niedrigster Ubertragungsraten erzielt werden 
konnen. 
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